搜索
本文团队长期从事负责任的人工智能与人工智能赋能社会科学相关研究，围绕视觉生成大模型安全治理、智能体安全等方向开展系统性工作，相关成果发表于AAAI、ICML、TMM 等国际期刊与会议。
训练一个真正会用网页的GUI Agent，最自然的思路通常是： 去真实网站上操作，收集轨迹，再拿来训练。
伴随多模态大模型的发展，GUI Agent正成为人机交互的新范式。
GitHub最新热榜榜首，来自字节。
具体来说，Open-AutoGLM 由一个手机端智能助手框架 Phone Agent 和一个 9B 大小的模型 AutoGLM-Phone-9B 共同组成。这次开源对行业的影响力，核心来自这次智谱开源的不是一个普通的 GUI agent 模型，而可能是行业最好的模型。
3万台首批备货被一抢而空、在二手市场价格翻番的当红炸子鸡“豆包手机”，更多技术详情得到证实。
首次将GUI Agent模型与完整配套基建同步开放，支持手搓党一键部署！这就是阶跃星辰刚刚开源的GELab-Zero。其中4B版本的GUI Agent模型在手机端、电脑端等多个GUI榜单上全面刷新同尺寸模型性能纪录，取得SOTA成绩。
进入 2025 年，GUI Agent 赛道热度逐渐抬升 —— OpenAI 推出 Operator 并发布了 ChatGPT Agent，字节则发布了 UI-TARS-1.5 定位 GUI 开源方案。但大多数产品依然依赖本地执行，难以 24h 稳定运行。
本文第一作者唐飞，浙江大学硕士生，研究方向是 GUI Agent、多模态推理等。
该技术报告的主要作者 Lu Wang, Fangkai Yang, Chaoyun Zhang, Shilin He, Pu Zhao, Si Qin 等均来自 Data, Knowledge, and Intelligence (DKI) 团队，为微软 TaskWeaver, WizardLLM, Windows GUI Agent UFO 的核心开发者。